<!DOCTYPE html>
<html >
<head>
    <meta charset="utf-8"/>
    <meta http-equiv="X-UA-Compatible" content="IE=edge"/>
    
    <title>使用内存映射实现本地缓存 | xilixili.net</title>
    <meta name="renderer" content="webkit">
    <meta name="HandheldFriendly" content="True">
    <meta name="MobileOptimized" content="320">
    <meta name="apple-mobile-web-app-capable" content="yes">
    <meta name="apple-mobile-web-app-status-bar-style" content="black-translucent">
    <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">

    <meta name="description" content="本来程序中一些数据需要在下次重启后能够恢复继续使用，一般比较好的办法是直接嵌入sqlite数据库或者嵌入leveldb，但是需要引入第三方库，略麻烦，因此打算自己实现。
实现思路自己实现最简单就是使用WinAPI操作INI文件，一个读API一个写API，非常简单方便，但是曾经出现过一个项被写两次的问题，心有余悸，另外也可以预见这种频繁的API操作肯定对磁盘性能有影响。
另外一种自定义格式写文件，将">

    <meta name="twitter:card" content="summary">
    <meta name="twitter:title" content="使用内存映射实现本地缓存 | xilixili.net">
    <meta name="twitter:description" content="本来程序中一些数据需要在下次重启后能够恢复继续使用，一般比较好的办法是直接嵌入sqlite数据库或者嵌入leveldb，但是需要引入第三方库，略麻烦，因此打算自己实现。
实现思路自己实现最简单就是使用WinAPI操作INI文件，一个读API一个写API，非常简单方便，但是曾经出现过一个项被写两次的问题，心有余悸，另外也可以预见这种频繁的API操作肯定对磁盘性能有影响。
另外一种自定义格式写文件，将">

    <meta property="og:type" content="article">
    <meta property="og:title" content="使用内存映射实现本地缓存 | xilixili.net">
    <meta property="og:description" content="本来程序中一些数据需要在下次重启后能够恢复继续使用，一般比较好的办法是直接嵌入sqlite数据库或者嵌入leveldb，但是需要引入第三方库，略麻烦，因此打算自己实现。
实现思路自己实现最简单就是使用WinAPI操作INI文件，一个读API一个写API，非常简单方便，但是曾经出现过一个项被写两次的问题，心有余悸，另外也可以预见这种频繁的API操作肯定对磁盘性能有影响。
另外一种自定义格式写文件，将">

    
    <meta name="author" content="rangerlee">
    
    <link rel="stylesheet" href="/css/vno.css">
    <link rel="stylesheet" href="/css/font-awesome.min.css">

    
    <link rel="icon" href="/images/avatar-small.png">
    

    <meta name="generator" content="hexo"/>
    
    <link rel="alternate" type="application/rss+xml" title="xilixili.net" href="/atom.xml">
    

    <link rel="canonical" href="xilixili.net/2018/05/30/use-mmap-as-cache/"/>

                 
</head>

<body class="home-template no-js">
    <script src="//cdn.bootcss.com/jquery/3.2.1/jquery.min.js"></script>
    <script src="/js/main.js"></script>
    <span class="mobile btn-mobile-menu">
        <i class="fa fa-list btn-mobile-menu__icon"></i>
        <i class="fa fa-angle-up btn-mobile-close__icon hidden"></i>
    </span>

    
<header class="panel-cover panel-cover--collapsed">
  <div class="panel-main">
    <div class="panel-main__inner panel-inverted">
    <div class="panel-main__content">

        <h1 class="panel-cover__title panel-title"><a href="/" title="访问首页 xilixili.net">xilixili.net</a></h1>
        
        <span class="panel-cover__subtitle panel-subtitle"><!-- 生活と技术の杂记 --></span>
        
        <hr class="panel-cover__divider">
        
        <p class="panel-cover__description">生活と技术の杂记</p>
        
	<hr class="panel-cover__divider panel-cover__divider--secondary">

        <div class="navigation-wrapper">
          <div>
          <nav class="cover-navigation cover-navigation--primary">
            <ul class="navigation">
              <li class="navigation__item"><a href="/#blog" title="访问博客" class="blog-button">博客</a></li>
            
            </ul>
          </nav>
          </div>
          <div>
          <nav class="cover-navigation navigation--social">
  <ul class="navigation">

  <!-- Weibo-->
  

  <!-- Github -->
  
  <li class="navigation__item">
    <a href="https://github.com/rangerlee" title="查看我的GitHub主页" target="_blank">
      <i class="social fa fa-github"></i>
      <span class="label">Github</span>
    </a>
  </li>


<!-- Stack Overflow -->
        

  <!-- Google Plus -->
  

<!-- Facebook -->

  
<!-- Twitter -->

  

  <li class="navigation__item">
    <a href="/atom.xml" title="RSS" target="_blank">
      <i class="social fa fa-rss"></i>
      <span class="label">RSS</span>
    </a>
  </li>


  <li class="navigation__item">
    <a href="mailto:http://mail.qq.com/cgi-bin/qm_share?t=qm_mailme&amp;email=RzUmKSAiNSsiIgchKD8qJi4raSQoKg" title="邮件联系我" target="_blank">
      <i class="social fa fa-envelope"></i>
      <span class="label">Email</span>
    </a>
  </li>


  </ul>
</nav>

          </div>
        </div>

      </div>

    </div>

    <div class="panel-cover--overlay cover-alpha"></div>
  </div> 
</header>
<script type="text/javascript">
var side = document.getElementsByClassName("panel-cover")[0];
function checkWebp() {
	try{
		return(document.createElement('canvas').toDataURL('image/webp').indexOf('data:image/webp') == 0);
	}catch(err) {
		return false;
	}
};

if(checkWebp()) {
	side.style.backgroundImage = "url('/images/background-cover.jpg.webp')";
} else {
	side.style.backgroundImage = "url('/images/background-cover.jpg')";
}
</script>


    <div class="content-wrapper">
        <div class="content-wrapper__inner">
            <article class="post-container post-container--single">

  <header class="post-header">
    <div class="post-meta">
      <time datetime="2018-05-30T07:14:00.000Z" class="post-list__meta--date date">2018-05-30</time> &#8226; <span class="post-meta__tags tags">
  <a class="tag-link" href="/tags/技术/">技术</a>
 </span>
      <span class="page-pv">
       阅读 <span id="busuanzi_value_page_pv"><i class="fa fa-spinner fa-spin"></i></span>
      </span> 
   
    </div>
    <h1 class="post-title">使用内存映射实现本地缓存</h1>
  </header>

  <section class="post">
    <p>本来程序中一些数据需要在下次重启后能够恢复继续使用，一般比较好的办法是直接嵌入sqlite数据库或者嵌入leveldb，但是需要引入第三方库，略麻烦，因此打算自己实现。</p>
<h3 id="实现思路"><a href="#实现思路" class="headerlink" title="实现思路"></a>实现思路</h3><p>自己实现最简单就是使用WinAPI操作INI文件，一个读API一个写API，非常简单方便，但是曾经出现过一个项被写两次的问题，心有余悸，另外也可以预见这种频繁的API操作肯定对磁盘性能有影响。</p>
<p>另外一种自定义格式写文件，将文件读取出来，需要写入的时候更新内存并刷新到磁盘文件，同样相对可靠性能没那么好。</p>
<p>不过，基于上面的思想，其实我们可以使用内存映射的方式来实现。</p>
<h3 id="实现方法"><a href="#实现方法" class="headerlink" title="实现方法"></a>实现方法</h3><p>内存映射思想就是将文件映射成一片内存，然后操作内存就相当于操作文件，这样其实操作也方便，性能也好，但是因为是内存操作，需要自己去做内存分布排列，这是需要注意的地方。实现过程大概如下</p>
<ol>
<li>使用CreateFile打开文件</li>
<li>创建内存映射，空文件映射会失败</li>
<li>获取映射内存，映射大小必须不能大于文件大小</li>
</ol>
<p>由于第一次使用，会创建缓存文件，且缓存文件大小为0，因此当文件为空时，需要往里面写一次数据，以保证创建内存映射成功。</p>
<figure class="highlight cpp"><table><tr><td class="code"><pre><span class="line">HANDLE file = CreateFile(<span class="string">"cache.m"</span>, GENERIC_READ|GENERIC_WRITE,</span><br><span class="line">			FILE_SHARE_READ|FILE_SHARE_WRITE, <span class="literal">NULL</span>, OPEN_ALWAYS,</span><br><span class="line">			FILE_FLAG_SEQUENTIAL_SCAN, <span class="literal">NULL</span>);</span><br><span class="line"><span class="keyword">if</span>(filehandle_ == INVALID_HANDLE_VALUE)&#123;</span><br><span class="line">    <span class="built_in">printf</span>(<span class="string">"创建缓存文件失败 %d"</span>, GetLastError());</span><br><span class="line">    <span class="keyword">return</span> <span class="literal">false</span>;</span><br><span class="line">&#125;</span><br><span class="line"></span><br><span class="line">DWORD len = GetFileSize(file, <span class="literal">NULL</span>);</span><br><span class="line"><span class="keyword">if</span>(len == <span class="number">0</span>) &#123;</span><br><span class="line">    <span class="class"><span class="keyword">struct</span> <span class="title">CacheStruct</span> <span class="title">cache</span>;</span></span><br><span class="line">    <span class="built_in">memset</span>(&amp;cache, <span class="number">0</span>, <span class="keyword">sizeof</span>(cache));</span><br><span class="line">    WriteFile(file, &amp;cache, <span class="keyword">sizeof</span>(cache), <span class="literal">NULL</span>, <span class="literal">NULL</span>);</span><br><span class="line">&#125;</span><br><span class="line"></span><br><span class="line">HANDLE mapping = CreateFileMapping(file, <span class="literal">NULL</span>, PAGE_READWRITE, <span class="number">0</span>,<span class="number">0</span>, <span class="literal">NULL</span>); </span><br><span class="line"><span class="keyword">if</span>(filemapping_ == <span class="literal">NULL</span>)&#123;</span><br><span class="line">    <span class="built_in">printf</span>(<span class="string">"创建映射文件失败 %d"</span>, GetLastError());</span><br><span class="line">    <span class="keyword">return</span> <span class="literal">false</span>;</span><br><span class="line">&#125;</span><br><span class="line"></span><br><span class="line">UCHAR * mem = (UCHAR *)MapViewOfFile(mapping, FILE_MAP_ALL_ACCESS, <span class="number">0</span>, <span class="number">0</span>, len);</span><br><span class="line"><span class="keyword">if</span>(!mem)&#123;</span><br><span class="line">    <span class="built_in">printf</span>(<span class="string">"MapViewOfFile失败 %d"</span>, GetLastError());</span><br><span class="line">    <span class="keyword">return</span> <span class="literal">false</span>;</span><br><span class="line">&#125;</span><br><span class="line"></span><br><span class="line"><span class="keyword">return</span> <span class="literal">true</span>;</span><br></pre></td></tr></table></figure>
<p>这样就映射成功了，直接操作 <code>mem</code> 地址的内存就相当于操作文件，注意内存已经固定为 <code>len</code> 长度了，写入需要注意。上面例子是通过 <code>struct CacheStruct</code> 管理内存分布的，简单的定义为固定数组形式的结构。</p>
<figure class="highlight cpp"><table><tr><td class="code"><pre><span class="line"><span class="class"><span class="keyword">struct</span> <span class="title">CacheStruct</span> &#123;</span></span><br><span class="line">    <span class="keyword">char</span> data1[MAX_PATH]; </span><br><span class="line">    <span class="keyword">char</span> data2[MAX_PATH]; </span><br><span class="line">&#125;;</span><br></pre></td></tr></table></figure>
<h3 id="其他想法"><a href="#其他想法" class="headerlink" title="其他想法"></a>其他想法</h3><p>总体上相当于是有一块内存可使用了，那么可以通过 <strong>palcement new</strong> 实现一些功能。另外就是自实现类似 <code>vector</code> 之类的容器。</p>

  </section>

</article>

<section class="read-more">
           
    
               
            <div class="read-more-item">
                <span class="read-more-item-dim">最近的文章</span>
                <h2 class="post-list__post-title post-title"><a href="/2018/06/19/ffmpeg-push-rtmp-for-camera/" title="FFMPEG推流摄像头">FFMPEG推流摄像头</a></h2>
                <p class="excerpt">
                
                一般的直播网站都使用OBS推流，其实ffmpeg也可以推流，在无界面环境下就可以推流使用。本文以Windows下为例，简单介绍下使用ffmpeg工具推流的方法和步骤。
下载安装下载地址：https://ffmpeg.zeranoe.com/builds/ 
选择版本（默认即可），选择自己系统架构，L
                &hellip;
                </p>
                <div class="post-list__meta"><time datetime="2018-06-19T08:40:00.000Z" class="post-list__meta--date date">2018-06-19</time> &#8226; <span class="post-list__meta--tags tags">
  <a class="tag-link" href="/tags/技术/">技术</a>
</span><a class="btn-border-small" href="/2018/06/19/ffmpeg-push-rtmp-for-camera/">继续阅读</a></div>
                           
            </div>
        
        
               
            <div class="read-more-item">
                <span class="read-more-item-dim">更早的文章</span>
                <h2 class="post-list__post-title post-title"><a href="/2018/05/11/parse-hikvision-camera-ps-stream/" title="简单解析海康PS流获取H264">简单解析海康PS流获取H264</a></h2>
                <p class="excerpt">
                
                在用海康SDK获取H264视频流的时候，其实从海康的SDK里面基本是没有的，海康的SDK介绍使用是通过自身的PlayM4解码成图片的，并非我们想要的H264。项目里面使用的是海康提供的AnalyzeData库，但是我并没有从海康官网找到下载，应该是PS格式解析库。
分析其实通过Wireshark本地
                &hellip;
                </p>
                <div class="post-list__meta"><time datetime="2018-05-11T08:23:00.000Z" class="post-list__meta--date date">2018-05-11</time> &#8226; <span class="post-list__meta--tags tags">
  <a class="tag-link" href="/tags/技术/">技术</a>
</span><a class="btn-border-small" href="/2018/05/11/parse-hikvision-camera-ps-stream/">继续阅读</a></div>
                       
            </div>
        
     
   
   
  
</section>



	<script>
	(function(){
		var bp = document.createElement('script');
		var curProtocol = window.location.protocol.split(':')[0];
		if (curProtocol === 'https') {
			bp.src = 'https://zz.bdstatic.com/linksubmit/push.js';        
		}
		else {
			bp.src = 'http://push.zhanzhang.baidu.com/push.js';
		}
		var s = document.getElementsByTagName("script")[0];
		s.parentNode.insertBefore(bp, s);
	})();
	</script>



<script>
(function(){
var src = (document.location.protocol == "http:") ? "http://js.passport.qihucdn.com/11.0.1.js?8612a7fa26d7ba4562be733ae33649b1":"https://jspassport.ssl.qhimg.com/11.0.1.js?8612a7fa26d7ba4562be733ae33649b1";
document.write('<script src="' + src + '" id="sozz"><\/script>');
})();
</script>



            <footer class="footer">
    <span class="footer__copyright">
        &copy; 2023 rangerlee - 本站点采用 <a href="http://creativecommons.org/licenses/by-nc-sa/4.0/">知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议</a>
       
    </span>
    <span class="footer__copyright">
             - 本站基于开源 <a href="http://hexo.io">Hexo</a> 搭建，采用 <a href="https://github.com/rangerlee/hexo-theme-new-vno">hexo-theme-new-vno</a> 主题，修改自 <a href="https://github.com/monniya/hexo-theme-new-vno ">new-vno</a> 主题  <a href="http://www.beian.miit.gov.cn">皖ICP备16009457号</a>
         </span>
       
    
    
</footer>


        </div>
    </div>

     
    
    <script>
        var _hmt = _hmt || [];
        (function() {
            var hm = document.createElement("script");
            hm.src = "//hm.baidu.com/hm.js?bab4f71524319c10819bcae280021624";
            var s = document.getElementsByTagName("script")[0]; 
            s.parentNode.insertBefore(hm, s);
        })();
    </script>



    <script async src="//busuanzi.ibruce.info/busuanzi/2.3/busuanzi.pure.mini.js"></script>
    
    
</body>
</html>
